人工知能の急速な発展に伴い、AI「ハルシネーション」現象がますます頻繁に発生し、多くの企業に大きな悩みの種となっています。カスタマーサービス用チャットボットが実際には存在しない製品について自信満々に説明したり、金融AIが市場データをでっち上げたり、医療用ロボットが危険な医療アドバイスを提供したりといった問題が発生しています。これらの問題はもはや単なる面白い話ではなく、企業の評判と収益に深刻な影響を与える重大なリスクとなっています。この課題に対処するため、サンフランシスコに拠点を置くスタートアップ企業Patronus AIは、リアルタイムでの検出と防止を目的とした、世界初のセルフサービスプラットフォームを発表しました。

Patronus AIが著作権検出ツールを発表、OpenAIのGPT-4が最も深刻な著作権侵害問題を抱えていると指摘。マイクロソフトエンジニアはAI画像生成ツールの社会への危険性を指摘。

Patronus AIはSimpleSafetyTestsテストスイートを発表し、ChatGPTなどのAIシステムに重大なセキュリティ脆弱性が存在することを明らかにしました。自殺、児童虐待、身体的危害など、5つの優先度の高いリスク分野を対象としたテストでは、11種類のLLMにおける深刻な弱点が見つかりました。安全なシステムプロンプトは、安全でない応答を減らすことができますが、結果は、本番システムに追加の保護が必要になる可能性を示唆しています。テストの結果は、現実世界のアプリケーションに適用する前に、LLMには厳格でカスタマイズされたセキュリティソリューションが必要であり、基盤となる…

Patronus AIは、AIモデルのセキュリティとガバナンスに特化した、米国に本社を置くスタートアップ企業です。同社は最近、光速中国がリードインベスターを務めるシリーズAラウンドで300万ドルの資金調達を完了しました。Patronus AIは、主に企業顧客向けに、AIモデルのセキュリティ評価、監視、強化プラットフォームを提供しています。同社は、敵対的生成ネットワークを利用して、企業顧客にAIモデルのセキュリティ評価サービスを提供しています。Patronus AIは、今回の資金調達を活用して製品開発を加速し、研究開発チームを拡大する予定です。